P. M. Gavrilov sinh ngày 17 tháng 6 (30 tháng 6 theo lịch mới) năm 1900, tại làng Alvidino (tên tiếng Tartar là Aelbaedaen (Әlbәdәn)) thuộc huyện Laishevsky, tỉnh Kazan (hiện nay là huyện Pestrechinsky, Cộng hòa Tatarstan thuộc Liên bang Nga). Ông là một người Tartar chính cống.[1] Cha của P. M. Gavrilov qua đời trước khi ông được sinh ra (một số tài liệu khác nói P. M. Gavrilov mồ côi cha khi đã được 1 tuổi). Đến năm 15 tuổi ông lên Kazan kiếm sống và được nhận vào làm công nhân trong một nhà máy.

Khi Cách mạng Tháng Mười bùng nổ, P. M. Gavrilov tham gia thành lập chính quyền Xô Viết ở Kazan. Mùa xuân năm 1918, ông tình nguyện gia nhập Hồng quân, chiến đấu chống lại quân Bạch vệ của Kolchak, Denikin và dẹp thổ phỉ ở miền Bắc Kavkaz. Ông ở lại trong quân ngũ sau chiến tranh và đến năm 1922 thì gia nhập Đảng Cộng sản. Đến tháng 9 năm 1925 ông tốt nghiệp Trường Bộ binh Vladikavkaz và đến phục vụ ở vùng Kavkaz; tại đây ông lấy vợ và nhận nuôi một cậu bé mồ côi. Đến năm 1939 ông tốt nghiệp Học viện Quân sự Frunze. Trong quân ngũ ông dần dần được thăng cấp tới thiếu tá và được giao chỉ huy trung đoàn bộ binh số 44.

Năm 1939-1940 P. M. Garvilov tham gia Chiến tranh Liên Xô-Phần Lan. Sau chiến tranh đơn vị của ông được điều đến miền Tây Belarus và đến tháng 5 năm 1941 thì đến đồn trú ở Brest.